针对机器剩余寿命预测的位置编码型卷积神经网络

机器的剩余寿命预测可以有效防止机器在不良条件下工作，从而保证工业系统稳定，高效地运行。因此，准确地机器寿命预测对于工业系统十分重要。近些年来，很多基于深度学习的方法被提出来解决该任务。在众多方法中，基于循环神经网络的方法因其对时序信息的有效捕获，展现出了比基于卷积神经网络方法更好的性能。

我们对这一结论进行了思考，发现已有的基于卷积神经网络的寿命预测方法由于网络结构设计的问题，无法展现应有的预测准确率。通过分析，我们发现，在时序信息捕获方面，卷积神经网路很大程度上依赖其感受野的大小；而已有的基于卷积神经网络的方法均忽略了这一因素。

为了解决上述问题，我们提出了一系列新的卷积神经网络。实验表明，在机器生命预测这一任务下，基于新设计的卷积神经网络的方法表现出了和基于循环神经网络的方法相似的性能。不仅如此，我们注意到，与循环神经网络相比，卷积神经网络因为并行处理输入信号，时序信息无法被轻易感知。为了缓解这一缺陷，提出了一种位置编码机制来增强卷积神经网络中的时序信息。通过该方法，我们提出了基于位置编码的卷积神经网络(PE-Net)。在C-MAPSS数据集上的大量实验数据表明所提出的基于位置编码的卷积神经网络展现出优于循环神经网络的性能并在该数据集上取得了最好的结果。

机器剩余寿命预测对于工业系统十分重要。随着深度学习的兴起，很多基于深度学习的方法被提出来解决该问题。在众多方法中，基于循环神经网络的方法广泛受到认可。相比于卷积神经网络，循环神经网络因其善于获取时序信息，被认为更适合用来解决该任务。然而，受限于循环网络本身的输入机制，基于循环神经网络的方法在训练和预测过程中无法并行运行，耗费大量时间。因此，为了节约成本，已有基于循环神经网络的方法大多由2-3层的浅层网络组成。这种浅层网络极大地限制了网络的表征能力，进而影响寿命预测的准确性。

为了解决上述问题，新加坡科技研究局的陈正华博士团队提出了一种基于位置编码的卷积神经网络。该网络使用了全新的网络架构并应用了位置编码技术，在C-MAPSS数据集上，表现出优于循环神经网络的性能。其研究成果发表于IEEE/CAA Journal of Automatica Sincia 2022年第9卷第8期：R. B. Jin, M. Wu, K. Y. Wu, K. Z. Gao, Z. H. Chen, and  X. L. Li,  “Position encoding based convolutional neural networks for machine remaining useful life prediction,” IEEE/CAA J. Autom. Sinica, vol. 9, no. 8, pp. 1427–1439, Aug. 2022.  doi: 10.1109/JAS.2022.105746.

首先，分析了卷积神经网络结构对捕获时序信息质量的影响，并从卷积核，感受野，网络深度三个方面重新设计了一系列卷积神经网络。如表1所示，为了让卷积神经网络易于收敛，除第一层外，其余卷积核均采用1*3的一维卷积核，并且卷积通道数量随网络加深而逐层递增。为了确保神经网络可以完好地捕获时序信息，神经网络最后一层的感受野应不小于输入的时间长度。然后，引入了位置编码技术，进一步提高了卷积神经网络对时序信息的捕获能力，从而提高了在机器寿命预测上的准确率，系统框架如图1所示。

表1 卷积神经网络结构

图1 系统框架

不同网络结构在C-MAPSS数据库的实验结果如表2所示。从实验结果可以看出，由于输入数据的长度仅为30，且CNN-C与CNN-D的感受野均大于30，因此CNN-C与CNN-D表现出了相似的性能，并优于其他两个网络。

表2 不同网络结在FD004的实验结果

进一步，设计了CNN-C与位置编码(PE)组合的实验，其在C-MAPSS数据库的实验结果如表3所示。在应用了位置编码技术在卷积神经网络之后，我们提出的基于位置编码的卷积神经网络(PE-Net)达到了更好的性能并优于其他方法。

表3 CNN-C与位置编码(PE)组合实验在C-MAPSS数据库的实验结果

金瑞冰，博士，毕业于新加波南洋理工大学，目前担任新加坡科技研究局研究科学家，主要研究方向包括计算机视觉，时间序列信号分析，深度学习等，已在Pattern Recognition, Knowledge-Based Systems, IEEE Transactions on Instrumentation and Measurement等期刊发表过多篇高质量学术论文，曾荣获人工智能顶会CVPR 2021挑战赛冠军。

吴敏，博士，毕业于新加波南洋理工大学，目前担任新加坡科技研究局高级研究科学家。主要研究方向为机器学习，迁移学习，数据挖掘和生物信息学。近年来发表学术论文一百余篇，参与编写英文专著两部。曾荣获数据库系统高级应用国际会议(DASFAA 2015)和国际生物信息学会议(InCoB 2016)的最佳论文奖，IEEE故障诊断和系统健康管理国际会议(PHM 2020)最佳论文提名奖。受邀担任KDD, AAAI, IJCAI等重要国际会议程序委员会委员。

武可雨，博士，毕业于新加波南洋理工大学，目前担任新加坡科技研究局研究科学家。主要研究方向包括强化学习，迁移学习，自监督学习等；近年来发表学术论文四十余篇；曾荣获人工智能顶会CVPR 2021挑战赛冠军及多个IEEE国际会议最佳论文提名奖。

高开周，博士，新加坡南洋理工大学博士、博士后（导师IEEE Fellow, PN Suganthan教授），现任澳门科技大学助理教授，博/硕士生导师，IEEE会员，中国仿真学会智能仿真优化与调度专委会委员，中国运筹学会排序分会理事，Swarm and Evolutionary Computation，IET Collaborative Intelligent Manufacturing和The Chinese Journal of Artificial Intelligence副主编，国家自然科学基金项目通讯评议专家。主要研究方向人工智能、优化与调度、智能交通等。近年来，主持及参与国家自然科学基金7项，新加坡科研项目3项，澳门特别行政区FDCT项目2项，山东省科研项目多项。在IEEE Trans等期刊和国际会议发表研究论文120多篇，ESI高被引论文7篇。获山东省自然科学二等奖、山东省高等学校优秀科研成果一等、二等、三等奖、中国仿真学会智能仿真优化与调度专委会优秀论文奖等多项。担任IEEE Trans、CEC和CDC等30多个国际高水平期刊及顶级会议审稿人，组织或共同组织国际期刊专刊和国际会议专题7次，国际会议专题报告或论文展示报告多次。

陈正华，博士，毕业于新加波南洋理工大学，目前担任新加坡科技研究局研究科学家、PI、实验室主任和博士生导师。近年来发表学术论文八十余篇、编写英文专著两部；论文谷歌学术引用四千余次；主持或共同主持多项新加坡国家研究基金会项目；目前担任Nuerocomputing和IEEE Transactions on Instrumentation and Measurement的编委、IEEE JAS青年编委和多个学术期刊的客座编委；2021和2020年入选全球前2%顶尖科学家(斯坦福大学发布)、曾荣获A*STAR职业发展奖、人工智能顶会CVPR 2021挑战赛冠军、IEEE国际会议最佳论文提名奖等；目前担任IEEE传感器学会新加坡分部副主席和IEEE高级会员。

李晓黎，博士，新加坡科研局，资讯通信研究院机器智能部门主任和首席科学家。他也担任新加坡南洋理工大学的兼职教授。在世界最著名国际人工智能大会（IJCAI, AAAI）和数据挖掘国际会议（KDD, ICDM）担任资深程序委员会委员、区域主席、研讨会主席。在大数据分析、人工智能领域，发表了280多篇论文，并收到了八个国际会议最佳论文奖或国际竞赛的奖励。他具有代表性的研究工作有基于正例和无标记例子的学习(超过2000他引),传感器时序数据分析(超过2000他引), 社交和生物网络挖掘(超过1000他引)。李博士具有丰富的将AI落地的经验并与工业界进行广泛的合作，带领超过10个航空、银行、电信、零售、保险的项目，并产生重大的社会经济效益。

1. 邀您加入“JAS&自动化学报读者服务交流”微信群，获取更多资源资讯！添加小编微信“zss912483428”拉您入群